我是如何通过Web爬虫找工作的

作者: Zhia Hwa Chong

编译: Mika
本文为 CDA 数据分析师原创作品；

前言

当时我刚从大学毕业，需要找一份工作。那时我不太喜欢社交，因此我决定以我所知道的最佳方法来找工作，即开发一个应用程序，这篇文章就介绍了我是如何做到的。

Craigslist

我打算通过开发应用程序，帮我在Craigslist在找寻软件工程师的相关工作。

Craigslist是美国著名的大型免费分类广告网站，你可以在上面找到东西出售，服务信息，社区帖子等内容。

Craigslist

那时我还从未开发过成熟的应用程序。我在大学里做的学术项目主要是：构建和解析二叉树，计算机图形和简单的语言处理模型等等。

换句话说，我是妥妥的小白。

Python是当下非常热门的新兴编程语言，我不太会Python，但我打算试着学一学。因此，我打算结合这两者，用Python开发一个小型的应用程序。

我是怎么做的

大学毕业后，我哥哥送了我一台明基笔记本电脑，我就用这台电脑进行开发。

这台电脑并不具备最好的开发环境，我用的是Python 2.4和Sublime的旧版本，但从零开始开发应用的过程确实令人振奋。

我不知道我需要做些什么，我在不断地尝试，看会遇到哪些问题。我的第一个挑战就是如何轻松访问Craigslist的数据。

首先，我查看Craigslist是否有公开的REST API，但令我沮丧的是，并没有。但我找到了不错的替代品。

Craigslist有公开供个人使用的RSS feed。RSS feed是网站发送更新的计算机可读摘要。RSS feed能让我获取发布的工作列表，这非常适合我的需求。

RSS feed大概是这样

接下来，我需要阅读这些RSS feed。我不想手动浏览RSS feed，这很耗时，与一页页浏览Craigslist没有什么不同。

这时我开始意识到谷歌的作用。有一个说法是，软件工程师的大部分时间都用在谷歌搜索上，我认为这是有一定道理的。

经过谷歌搜索后，我在StackOverflow上找到了这篇有用的帖子，上面描述了如何搜索Craiglist 的RSS feed，这是Craigslist免费提供的一种过滤功能。我所要做的就是通过特定的参数对感兴趣的关键字进行查询。

相关帖子：

https://stackoverflow.com/questions/10353021/is-there-a-developers-api-for-craigslist-org

我主要在找西雅图的软件相关工作。因此，我通过特定的URL来查找西雅图包含关键字"software"的列表。

https://seattle.craigslist.org/search/sss?format=rss&query=software

看，效果很不错。

西雅图的RSS feed中标题中包含"software"的内容

遇到的问题

我不认为我的方法能行得通。

首先，列表的数量有限。我的数据未包含西雅图的所有发布的职位，返回的结果仅是一部分。我希望尽可能扩大搜索，因此我需要获得所有可用的工作列表。

其次，我意识到RSS feed 不包含任何联系方式，这太可惜了。我能找到职位发布信息，但除非我手动过滤这些列表，否则我无法联系到这些职位。

Craigslist回复链接的截图

继续迭代

经过第一次失败的尝试，我发现Craigslist有我可以进行爬取的RSS feed，每个帖子都指向实际发布的链接。

如果我可以访问实际的帖子，那么也许我能从中爬到邮箱地址？这意味着我需要找到一种方法来从原始帖子中获取邮件地址。

再次，我在谷歌上搜索"解析网站的方法"。结果我发现了一个很酷的Python小工具，叫做Beautiful Soup。它能让你解析整个DOM树，并帮助你了解网页的结构。

我的需求很简单：需要一个易于使用的工具，能让我从网页收集数据。

BeautifulSoup符合这两点，这是我并不是花更多时间去挑选工具，而是选择了这个工具继续开始尝试。

这里也有类似的工具可供选择。

https://www.quora.com/What-are-some-good-Python-libraries-for-parsing-HTML-other-than-Beautiful-Soup

BeautifulSoup的主页

有了这个新工具，我的工作流程就搞定了。

我的工作流程

我准备进行下一个任务：从实际发布贴中爬取邮箱地址。

开源技术的好处在于，它们是免费的，而且性能强大。BeautifulSoup能让你在网页上搜索特定的HTML标记。Craigslist以这样的方式构建其列表，以便轻松找到邮箱地址。

之后就简单了，通过BeautifulSoup提供的内置功能，我就能简单地从Craigslist帖子获取邮箱地址。

整合起来

用了约1个小时，我就达到了预期目标。我开发了网络爬虫工具，这能够收集西雅图100英里范围内软件工程师相关工作的邮箱地址，并回复邮件。

代码截图

我在原始脚本之上添加了些附加组件，让爬取更为轻松。例如，我将结果保存到CSV和HTML页面中，以便我能快速进行解析。

当然还有一些不足：

• 无法记录已发送的邮件

• 无法防止重复发送邮件

• 有些邮件为了防止机器人发送，需要验证码才能显示

• Craigslist不允许在其平台上进行爬虫，如果我经常运行脚本则会被禁止。（我试图切换VPN，但不管用）

• 仍然无法检索Craigslist上的所有帖子

最后这点让人郁闷，但我认为如果一篇招聘贴发布了一段时间，可能发布者已经没有再招人了，这样也是可以接受的。

整个过程感觉像是俄罗斯方块。我知道最终目标是什么，真正的挑战是将正确的部分组合在一起，从而实现最终目标。每一步都有不同的挑战，整个过程中我学到了很多新知识。

经验教训

这次经历让我大开眼界，我学到了更多互联网和Craigslist的工作原理，以及该如何运用各种不同的工具协同解决问题。

可改进的方面

当中有很多方面我能够进行改进：

• 我选择了一种不太熟悉的语言，这需要一个学习过程。不过还挺顺利，因为Python非常容易上手。我强烈建议编程初学者将Python作为第一选择。

• 过分依赖开源技术，开源软件也存在问题。我使用的一些库已不再处于活跃开发阶段，因此会遇到一些问题。例如无法导入库，库会莫名其妙地崩溃等。

• 自己完成一个项目很有趣，但也有压力，你需要很大的动力才能做出成果。我的这个项目很快很简单，但我也花了几周进行改进。随着项目的进行，我逐渐失去动力，找到工作后，我完全放弃了这个项目。

使用的资源和工具

• The Hitchhiker’s Guide to Python

一本很棒的学习Python的书。

• BeautifulSoup

我用来开发网络爬虫实用工具

https://www.crummy.com/software/BeautifulSoup/

• Web Scraping with Python

如何使用Python进行Web抓取的使用指南。

• Lean Startup

我从这本书中学习了如何快速进行原型设计。这里的很多想法适用于许多不同领域，也有助于我完成项目。

• Evernote 

我用Evernote写了这篇文章，强烈推荐。

• MacBook Pro

这是我目前使用的笔记本电脑，与之前的明基相比，它更容易使用，但两者都适用于一般的编程工作。

更多精彩文章